联合学习通过与大量参与者启用学习统计模型的同时将其数据保留在本地客户中，从而提供了沟通效率和隐私的培训过程。但是，将平均损失函数天真地最小化的标准联合学习技术容易受到来自异常值，系统错误标签甚至对手的数据损坏。此外，由于对用户数据隐私的关注，服务提供商通常会禁止使用数据样本的质量。在本文中，我们通过提出自动加权的强大联合学习（ARFL）来应对这一挑战，这是一种新颖的方法，可以共同学习全球模型和本地更新的权重，以提供针对损坏的数据源的鲁棒性。我们证明了关于预测因素和客户权重的预期风险的学习，这指导着强大的联合学习目标的定义。通过将客户的经验损失与最佳P客户的平均损失进行比较，可以分配权重，因此我们可以减少损失较高的客户，从而降低对全球模型的贡献。我们表明，当损坏的客户的数据与良性不同时，这种方法可以实现鲁棒性。为了优化目标函数，我们根据基于块最小化范式提出了一种通信效率算法。我们考虑了不同的深层神经网络模型，在包括CIFAR-10，女权主义者和莎士比亚在内的多个基准数据集上进行实验。结果表明，我们的解决方案在不同的情况下具有鲁棒性，包括标签改组，标签翻转和嘈杂的功能，并且在大多数情况下都优于最先进的方法。

人体步态是指不仅代表活动能力的每日运动，而且还可以用人类观察者或计算机来识别步行者。最近的研究表明，步态甚至传达了有关沃克情绪的信息。不同情绪状态中的个体可能显示出不同的步态模式。各种情绪和步态模式之间的映射为自动情绪识别提供了新的来源。与传统的情绪检测生物识别技术（例如面部表达，言语和生理参数）相比，步态是可以观察到的，更难以模仿，并且需要从该主题中进行较少的合作。这些优势使步态成为情感检测的有前途的来源。本文回顾了有关基于步态的情绪检测的当前研究，尤其是关于步态参数如何受到不同情绪状态的影响以及如何通过不同的步态模式识别情绪状态的研究。我们专注于情感识别过程中应用的详细方法和技术：数据收集，预处理和分类。最后，我们讨论了使用智能计算和大数据的最先进技术的状态来讨论高效有效的基于步态的情感识别的可能发展。

Deep neural networks are incredibly vulnerable to crafted, human-imperceptible adversarial perturbations. Although adversarial training (AT) has proven to be an effective defense approach, we find that the AT-trained models heavily rely on the input low-frequency content for judgment, accounting for the low standard accuracy. To close the large gap between the standard and robust accuracies during AT, we investigate the frequency difference between clean and adversarial inputs, and propose a frequency regularization (FR) to align the output difference in the spectral domain. Besides, we find Stochastic Weight Averaging (SWA), by smoothing the kernels over epochs, further improves the robustness. Among various defense schemes, our method achieves the strongest robustness against attacks by PGD-20, C\&W and Autoattack, on a WideResNet trained on CIFAR-10 without any extra data.

The problem of learning threshold functions is a fundamental one in machine learning. Classical learning theory implies sample complexity of $O(\xi^{-1} \log(1/\beta))$ (for generalization error $\xi$ with confidence $1-\beta$). The private version of the problem, however, is more challenging and in particular, the sample complexity must depend on the size $|X|$ of the domain. Progress on quantifying this dependence, via lower and upper bounds, was made in a line of works over the past decade. In this paper, we finally close the gap for approximate-DP and provide a nearly tight upper bound of $\tilde{O}(\log^* |X|)$, which matches a lower bound by Alon et al (that applies even with improper learning) and improves over a prior upper bound of $\tilde{O}((\log^* |X|)^{1.5})$ by Kaplan et al. We also provide matching upper and lower bounds of $\tilde{\Theta}(2^{\log^*|X|})$ for the additive error of private quasi-concave optimization (a related and more general problem). Our improvement is achieved via the novel Reorder-Slice-Compute paradigm for private data analysis which we believe will have further applications.

尽管收集了越来越多的数据集用于培训3D对象检测模型，但在LiDar扫描上注释3D盒仍然需要大量的人类努力。为了自动化注释并促进了各种自定义数据集的生产，我们提出了一个端到端的多模式变压器（MTRANS）自动标签器，该标签既利用LIDAR扫描和图像，以生成来自弱2D边界盒的精确的3D盒子注释。为了减轻阻碍现有自动标签者的普遍稀疏性问题，MTRAN通过基于2D图像信息生成新的3D点来致密稀疏点云。凭借多任务设计，MTRANS段段前景/背景片段，使LIDAR POINT CLUENS云密布，并同时回归3D框。实验结果验证了MTRAN对提高生成标签质量的有效性。通过丰富稀疏点云，我们的方法分别在Kitti中度和硬样品上获得了4.48 \％和4.03 \％更好的3D AP，而不是最先进的自动标签器。也可以扩展Mtrans以提高3D对象检测的准确性，从而在Kitti硬样品上产生了显着的89.45 \％AP。代码位于\ url {https://github.com/cliu2/mtrans}。

Countsketch和功能哈希（“ Hashhing Track”）是流行的随机降低降低方法，支持$ \ ell_2 $ -heavy hters的恢复（键$ i $ where $ v_i^2> \ epsilon \ epsilon \ | \ boldsymbol {v} \ | _2^2 $）和近似内部产品。当输入为{\ em不自适应}（不依赖于先前的输出）时，应用于尺寸$ o（\ ell/\ epsilon）$的经典估计器对于许多在$ \ \ \ \ \ \ \ \ \ hig的尺寸的草图（\ ell/\ epsilon）$都是准确的。 Ell $。但是，当输入是自适应的时，可以在$ o（\ ell）$ QUERIES具有经典估算器和最知名的稳健估计器后构建对抗输入，并且仅支持$ \ tilde {o}（\ ell^2）$ queries。在这项工作中，我们表明，这种二次依赖性在某种意义上是固有的：我们设计了$ O（\ ell^2）$ QUERIES之后的攻击，该攻击会产生一个对抗性输入向量，其草图是高度偏见的。我们的攻击使用“天然”非自适应输入（仅选择最终的对抗输入），并普遍适用任何正确的估计器，包括攻击者未知的估计器。在此，我们暴露了这种基本方法的固有脆弱性。

帕金森氏病（PD）是一种神经系统疾病，具有各种可观察到的与运动相关的症状，例如运动缓慢，震颤，肌肉僵硬和姿势受损。 PD通常通过评估运动障碍系统（例如运动障碍协会统一帕金森氏病评级量表（MDS-UPDRS））的评分系统来诊断PD。使用个体视频记录的自动严重性预测为无侵入性监测运动障碍提供了有希望的途径。但是，PD步态数据的大小有限阻碍模型能力和临床潜力。由于这种临床数据的稀缺性，并受到自我监督的大规模语言模型（例如GPT-3）的最新进展的启发，我们将人类运动预测用作有效的自我监督预训练的任务来估计运动障碍的严重性。我们介绍步态预测和损伤估计变压器，该变压器首先在公共数据集中进行预测以预测步态运动，然后应用于临床数据以预测MDS-UPDRS步态障碍的严重性。我们的方法的表现优于以前的方法，这些方法仅依赖于临床数据，从而达到了0.76的F1得分，精度为0.79，召回率为0.75。使用GaitForemer，我们展示了公共人类运动数据存储库如何通过学习通用运动表示来帮助临床用例。该代码可从https://github.com/markendo/gaitforemer获得。

生成预训练的语言模型（PLM）的规模不断增加，大大增加了对模型压缩的需求。尽管有多种压缩BERT或其变体的方法，但很少有尝试压缩生成PLM的尝试，而潜在的难度仍然不清楚。在本文中，我们通过量化压缩生成PLM。我们发现，由于\ textit {均质单词嵌入}的生成任务，先前的量化方法失败了，由减小的容量引起，\ textit {权重分布}。相应地，我们提出了一个令牌级的对比度蒸馏，以学习可区分的单词嵌入，并通过模块的动态缩放来使量化器适应不同的模块。各种任务的经验结果表明，我们所提出的方法的表现优于生成PLM的最新压缩方法。通过与完整模型的可比性能，我们分别在GPT-2和BART上达到14.4倍和13.4倍的压缩率。

聚类是数据分析中的一个根本问题。在差别私有聚类中，目标是识别$ k $群集中心，而不披露各个数据点的信息。尽管研究进展显着，但问题抵制了实际解决方案。在这项工作中，我们的目的是提供简单的可实现的差异私有聚类算法，当数据“简单”时，提供实用程序，例如，当簇之间存在显着的分离时。我们提出了一个框架，允许我们将非私有聚类算法应用于简单的实例，并私下结合结果。在高斯混合的某些情况下，我们能够改善样本复杂性界限，并获得$ k $ -means。我们与合成数据的实证评估补充了我们的理论分析。

通常用于分析复杂数据集的维度减少和聚类技术，但它们的结果通常不容易解释。我们考虑如何支持用户在散点图上解释视表位结构，其中轴不直接解释，例如使用维度减少方法将数据投射到二维空间上。具体地，我们提出了一种新方法来自动计算可解释的聚类，其中说明在原始的高维空间中，并且群集在低维投影中相干。它通过使用信息理论提供复杂性和所提供信息量之间的可调平衡。我们研究了这个问题的计算复杂性，并对解决方案的搜索空间引入了高效，可调，贪婪优化算法的限制。此外，该算法还在称为excus的交互式工具中实现。几个数据集的实验突出显示，excrus可以提供信息丰富的和易于理解的模式，并且他们公开了算法有效的地方，并且考虑到可调性和可扩展性的余地有改进的空间。